Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning
量化模型走到哪，就在哪训练：低比特推理的在线策略蒸馏
🧭 低比特量化 · 在线策略蒸馏 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · Zhongguancun Academy · City University of Hong Kong · NJUST
用在线策略蒸馏把教师监督放到低比特量化模型自己的生成轨迹上，将 MATH-500 平均保留率从 35% 恢复到 70%
📌 工作参考价值（4 点）
- 若线上部署低比特 LLM 做 Agent 规划、长推理或长文案生成，QAD 后不要直接上线：补一个少量步数的 on-policy 蒸馏阶段，用模型自己的 rollout 配合冻结 BF16 teacher 和任务 verifier，能显著减少重复循环和 budget exhaustion。
- 蒸馏阶段可以非常简单：反向 KL token-level + group-relative advantage，β=1 固定无需调参；每个 step 8 prompts、G=32/64 rollouts，几十到数百 step 即可，GPU-hours 比 QAD 少 14–23 倍。业务上可低成本验证。
- 教师选择：1.7B 以上的低比特学生用自身 BF16 副本通常足够，不必上更大教师；只有 0.6B 这类学生本身太弱时才需要更强教师。这能省掉大模型推理成本。
- 训练/部署一致性很关键：rollout 必须走部署时的量化前向路径（INT8 activations + low-bit weights），才能把量化扰动纳入训练分布；类似在生成式推荐、query 改写或 Agent 路径采样中，应让训练 rollout 与实际服务链路一致，避免 teacher-forcing 与线上自回归之间的 exposure bias。